СОВРЕМЕННЫЕ ПОДХОДЫ К МУЛЬТИКЛАССОВОЙ КЛАССИФИКАЦИИ ИНТЕНТОВ НА ОСНОВЕ ПРЕДОБУЧЕННЫХ ТРАНСФОРМЕРОВ
(на англ. яз.)
Аннотация:
Предмет исследования. Рассмотрены современные подходы к решению задачи мультиклассовой классификации намерений. Под намерением пользователя понимаются входящие пользовательские запросы при взаимодействии с голосовыми помощниками и чат-ботами. Алгоритм должен определить, к какому классу относится обращение. Современные технологии, такие как трансферное обучение и трансформеры, значительно улучшают результаты мультиклассовой классификации. Метод. В исследовании использован метод сравнительного анализа моделей. В свою очередь, каждая модель встроена в общий конвейер для подготовки, очистки данных и обучения модели, но с учетом ее конкретных требований. Для сравнения были выбраны современные модели, которые используются в реальных проектах: логистическая регрессия + TF-IDF; логистическая регрессия + FastText; LSTM + FastText; Conv1D + FastText; BERT; XLM. Последовательность моделей соответствует их историческому происхождению, но на практике эти модели используются независимо от времени их появления, а в зависимости от эффективности решаемой проблемы. Основные результаты. Выполнено исследование эффективности моделей мультиклассовой классификации на реальных данных. Представлены результаты сравнения современных практических подходов. В частности, XLM подтверждает превосходство трансформеров над другими подходами. Выдвинуто предположение, по какой причине трансформеры показывают такой отрыв. Описаны преимущества и недостатки современных подходов. Практическая значимость. С практической точки зрения результаты этого исследования могут быть использованы для проектов, которые требуют автоматической классификации намерений, как части сложной системы (голосового помощника, чат-бота или другой системы), а также как самостоятельной системы. Пайплайн, разработанный во время исследования, можно использовать для сравнения и выбора наиболее эффективной модели для конкретных наборов данных как в научных исследованиях, так и в производстве.
Ключевые слова:
Постоянный URL
Статьи в номере
- АННОТАЦИЯ НОМЕРА
- ТЕХНОЛОГИЯ БЛОКЧЕЙН В СЕТЯХ 5G
- ЧИСЛЕННОЕ МОДЕЛИРОВАНИЕ ЛАЗЕРНОГО НАГРЕВА ТИТАНСОДЕРЖАЩЕГО ОПТОТЕРМИЧЕСКОГО ВОЛОКОННОГО КОНВЕРТЕРА И СТЕНКИ ВЕНЫ В ПРОЦЕССЕ ЭНДОВАЗАЛЬНОЙ ЛАЗЕРНОЙ КОАГУЛЯЦИИ
- ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ ВЛИЯНИЯ ОПТИЧЕСКОЙ МОЩНОСТИ НА ФОРМИРОВАНИЕ СТРУКТУРЫ ВОЛОКОННО-ОПТИЧЕСКОГО РАССЕИВАТЕЛЯ, ПОЛУЧЕННОГО ПУТЕМ ПЛАВЛЕНИЯ СЕРДЦЕВИНЫ СВЕТОВОДА
- ИССЛЕДОВАНИЕ МЕТОДОВ СОЗДАНИЯ ГОРЯЧЕЙ ПРОВОЛОКИ ВОЛОКОННО-ОПТИЧЕСКОГО ТЕПЛОВОГО АНЕМОМЕТРА
- ИССЛЕДОВАНИЕ ВЛИЯНИЯ ВНЕШНЕГО ОТНОСИТЕЛЬНОГО ДАВЛЕНИЯ НА СДВИГ ФАЗЫ В ИНТЕРФЕРОМЕТРЕ САНЬЯКА
- ИССЛЕДОВАНИЕ АБСОРЦИОННЫХ ХАРАКТЕРИСТИК СЕРЕБРЯНЫХ ИОНООБМЕННЫХ СЛОЕВ В ХЛОРИДНОМ ФОТО-ТЕРМО-РЕФРАКТИВНОМ СТЕКЛЕ(на англ. яз.)
- СПЕКТРАЛЬНО-ЛЮМИНЕСЦЕНТНЫЕ СВОЙСТВА ЭРБИЯ В БРОМИДНО-ФТОРИДНЫХ ФОТО-ТЕРМО-РЕФРАКТИВНЫХ СТЕКЛАХ
- МЕТОД АВТОМАТИЧЕСКОГО ВИДЕОАНАЛИЗА ДВИЖЕНИЙ РУК И РАСПОЗНАВАНИЯ ЖЕСТОВ В ЧЕЛОВЕКО-МАШИННЫХ ИНТЕРФЕЙСАХ
- ЭФФЕКТИВНАЯ РЕАЛИЗАЦИЯ СОВРЕМЕННОЙ КРИПТОСИСТЕМЫ МАК-ЭЛИСА, ПОСТРОЕННОЙ НА ОБОБЩЕННЫХ (L, G)-КОДАХ
- ЗАДАЧА НОРМАЛИЗАЦИЙ СЛОВ КАЗАХСКОГО ЯЗЫКА
- АНАЛИЗ ДЕФЕКТОВ ПОВЕРХНОСТИ ИЗДЕЛИЯ ПРИ 3D-ПЕЧАТИ ПО ИХ ИЗОБРАЖЕНИЯМ С ИСПОЛЬЗОВАНИЕМ МЕТОДОВ МАШИННОГО ОБУЧЕНИЯ
- МОДЕЛЬ ИНСТРУМЕНТАЛЬНОГО СРЕДСТВА АВТОМАТИЗИРОВАННОГО СИНТЕЗА АППАРАТНЫХ УСКОРИТЕЛЕЙ СВЕРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ ДЛЯ ПРОГРАММИРУЕМЫХ ЛОГИЧЕСКИХ ИНТЕГРАЛЬНЫХ СХЕМ
- ОРГАНИЗАЦИЯ РЕЗЕРВИРОВАНИЯ ПАКЕТОВ ПРИ МНОГОПУТЕВЫХ ПЕРЕДАЧАХ РЕАЛЬНОГО ВРЕМЕНИ
- ПРИМЕНЕНИЕ МОДУЛЬНОГО ПОДХОДА ПРИ РАЗРАБОТКЕ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ДЛЯ ОБОРУДОВАНИЯ С ЧИСЛОВЫМ ПРОГРАММНЫМ УПРАВЛЕНИЕМ
- ПАРАМЕТРИЧЕСКАЯ ИДЕНТИФИКАЦИЯ ДИФФЕРЕНЦИАЛЬНО-РАЗНОСТНЫХ МОДЕЛЕЙ ТЕПЛОПЕРЕНОСА В ОДНОМЕРНЫХ ТЕЛАХ НА ОСНОВЕ АЛГОРИТМОВ ФИЛЬТРА КАЛМАНА
- ВЫБОР КОМПОЗИЦИОННОГО МАТЕРИАЛА В ДАТЧИКЕ ИНДУКЦИОННОГО ЛАГА
- МОДЕЛИРОВАНИЕ ИСПАРЕНИЯ СЖИЖЕННОГО ПРИРОДНОГО ГАЗА В МОБИЛЬНЫХ РЕЗЕРВУАРАХ
- МАТЕМАТИЧЕСКАЯ МОДЕЛЬ ИСПАРЕНИЯ СЖИЖЕННОГО ПРИРОДНОГО ГАЗА И АНАЛИЗ ВЛИЯНИЯ ИСХОДНОГО СОСТАВА НА СКОРОСТЬ ИСПАРЕНИЯ
- БЕССЕТОЧНОЕ МОДЕЛИРОВАНИЕ УПРУГИХ ДЕФОРМАЦИЙ ПОЛИМЕРНЫХ КОМПОЗИТНЫХ МАТЕРИАЛОВ ПРИ ИХ СТАТИЧЕСКОМ НАГРУЖЕНИИ
- ПОВЫШЕНИЕ ТОЧНОСТИ ПРОГРАММНО-АППАРАТНОГО КОМПЛЕКСА ДЛЯ ИЗМЕРЕНИЯ И РЕГИСТРАЦИИ МЫШЕЧНОЙ АКТИВНОСТИ(на англ. яз.)